Baker telah berkahwin tiga kali. Perkahwinan pertama adalah bersama Louie Ritter, 54 tahun, pemilik Hotel Weylin, pada tahun 1953. [20] Perkahwinan itu berakhir dalam masa setahun, selepas itu beliau mendaftar di Actors Studio di New York City. [21] Baker mendakwa bahawa Ritter telah merogolnya ketika beliau masih dara pada peringkat awal hubungan mereka. [22] Beliau kemudiannya mengahwini pengarah Jack Garfein, seorang mangsa Holocaust yang terselamat yang ditemuinya di Studio dan beliau telah memeluk agama Yahudi (beliau merupakan seorang Katolik sebelum itu). [23] Mereka mempunyai seorang anak perempuan, Blanche Baker (lahir 1956), [8] yang juga seorang pelakon, dan seorang anak lelaki, Herschel Garfein (lahir 1958), [8] yang merupakan seorang komposer dan ahli fakulti di Steinhardt School of Music di Universiti New York . Garfein dan Baker bercerai pada tahun 1969. Baker juga mempunyai enam cucu.

Baker berkahwin dengan suami ketiganya, pelakon teater British Donald Burton, pada 10 Mac 1982, [15] [7] [24] dan menetap di Hampstead, London, pada 1980-an. [7] Pasangan itu kekal bersama sehingga kematian Burton akibat emfisema di rumah mereka di Cathedral City, California, pada 8 Disember 2007. [24] [25]

Selepas meninggalkan Hollywood pada pertengahan 1960-an, Baker mengembara bersama rombongan USO Krismas Bob Hope menghiburkan tentera di Vietnam dan Asia Tenggara, pengalaman yang beliau gambarkan sebagai reformatif: "Di hospital saya memegang tangan lelaki muda yang rosak, dan saya menyedari bahawa kesakitan saya tidak eksklusif: bahawa di dunia ini ada penderitaan yang lebih dahsyat daripada saya." [8]

Baker menetap terutamanya di New York City dan Los Angeles sepanjang 1950-an dan 1960-an sebelum berpindah ke Rom untuk meneruskan kerjayanya di sana. [8] Baker kebanyakannya berpangkalan di Palm Springs, California, sepanjang 1990-an dan awal 2000-an. Sejak dari 2016[kemas kini] , beliau tinggal di New York City. Pada Februari 2014, beliau berkhidmat sebagai pembantu rumah di majlis perkahwinan rakan lama, ahli psikologi dan bekas pelakon, Dr Patrick Suraci dengan pasangannya, Tony Perkins, di New York. [26]